Robert kết hôn với June (nhũ danh Provenzano) trong hơn chín năm (từ 1966 đến 1975) sau khi hai người gặp nhau tại trường cũ của họ, Đại học Rochester.[10] Họ có ba cô con gái, Elizabeth (sinh năm 1967), Kathrine "Kate" (sinh năm 1969) và Maeghen (sinh năm 1972). Sau cuộc hôn nhân này, ông đi bước nữa với Zivia Forster (từ 1978 đến 1980), một người đàn bà từng có một đứa con riêng. Từ năm 2004 đến khi qua đời, người bạn đời cuối cùng của ông là Denise Grayson.[11]

Forster là một thành viên của Hiệp hội Triple Nine, hội những người có chỉ số IQ cao.[12]